Теорема Цыбенко

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор и , где

 — веса между входными нейронами и нейронами скрытого слоя,
 — веса между связями от нейронов скрытого слоя и выходным нейроном,
 — смещения для нейронов входного слоя.

Формальное изложение

[править | править код]

Пусть любая непрерывная сигмоидная функция, например, . Тогда, если дана любая непрерывная функция действительных переменных на (или любое другое компактное подмножество ) и , то существуют векторы и и параметризованная функция такая, что для всех выполняется

где

и и

  • Cybenko, G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. — 1989. — Т. 2, № 4. — С. 303—314.
  • Hassoun, M. Fundamentals of Artificial Neural Networks. — MIT Press, 1995. — С. 20, 48.